Warning: preg_grep(): Compilation failed: quantifier does not follow a repeatable item at offset 142 in /var/www/tg-me/post.php on line 75
Библиотека собеса по Data Science | вопросы с собеседований | Telegram Webview: ds_interview_lib/962 -
Telegram Group & Telegram Channel
📱 Как кросс-валидация применяется к большим нейросетям (например, GPT-подобным моделям) с миллионами или миллиардами параметров

Полноценная k-фолд кросс-валидация в контексте таких моделей обычно непрактична из-за колоссальных затрат времени и вычислительных ресурсов. Однако есть ряд подходов, позволяющих сбалансировать проверку качества модели и реалистичность обучения:

❗️ Возможные стратегии

1. Уменьшенное значение k (Reduced k)

Часто используют просто отложенную выборку (hold-out) или 2-фолд кросс-валидацию. Иногда применяют случайные разбиения несколько раз вместо традиционных 5-10 фолдов.

2. Чекпойнты и частичное повторное использование весов

Хотя обучение на каждом фолде требует разных данных, можно:
🟠дообучать модель с уже натренированными весами,
🟠использовать подходы transfer learning или fine-tuning.

Это не полностью корректно, но снижает затраты.

3. Параллельное и распределённое обучение

Если есть достаточное количество ресурсов (кластер, TPU/облачные GPU), фолды можно обучать параллельно.

4. Субсэмплирование данных

При очень больших датасетах можно делать случайную подвыборку на каждом фолде. Это сохраняет распределение, но уменьшает общий объём обучающих данных.

Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
2



tg-me.com/ds_interview_lib/962
Create:
Last Update:

📱 Как кросс-валидация применяется к большим нейросетям (например, GPT-подобным моделям) с миллионами или миллиардами параметров

Полноценная k-фолд кросс-валидация в контексте таких моделей обычно непрактична из-за колоссальных затрат времени и вычислительных ресурсов. Однако есть ряд подходов, позволяющих сбалансировать проверку качества модели и реалистичность обучения:

❗️ Возможные стратегии

1. Уменьшенное значение k (Reduced k)

Часто используют просто отложенную выборку (hold-out) или 2-фолд кросс-валидацию. Иногда применяют случайные разбиения несколько раз вместо традиционных 5-10 фолдов.

2. Чекпойнты и частичное повторное использование весов

Хотя обучение на каждом фолде требует разных данных, можно:
🟠дообучать модель с уже натренированными весами,
🟠использовать подходы transfer learning или fine-tuning.

Это не полностью корректно, но снижает затраты.

3. Параллельное и распределённое обучение

Если есть достаточное количество ресурсов (кластер, TPU/облачные GPU), фолды можно обучать параллельно.

4. Субсэмплирование данных

При очень больших датасетах можно делать случайную подвыборку на каждом фолде. Это сохраняет распределение, но уменьшает общий объём обучающих данных.

Библиотека собеса по Data Science

BY Библиотека собеса по Data Science | вопросы с собеседований


Warning: Undefined variable $i in /var/www/tg-me/post.php on line 283

Share with your friend now:
tg-me.com/ds_interview_lib/962

View MORE
Open in Telegram


Библиотека собеса по Data Science | вопросы с собеседований Telegram | DID YOU KNOW?

Date: |

However, analysts are positive on the stock now. “We have seen a huge downside movement in the stock due to the central electricity regulatory commission’s (CERC) order that seems to be negative from 2014-15 onwards but we cannot take a linear negative view on the stock and further downside movement on the stock is unlikely. Currently stock is underpriced. Investors can bet on it for a longer horizon," said Vivek Gupta, director research at CapitalVia Global Research.

Newly uncovered hack campaign in Telegram

The campaign, which security firm Check Point has named Rampant Kitten, comprises two main components, one for Windows and the other for Android. Rampant Kitten’s objective is to steal Telegram messages, passwords, and two-factor authentication codes sent by SMS and then also take screenshots and record sounds within earshot of an infected phone, the researchers said in a post published on Friday.

Библиотека собеса по Data Science | вопросы с собеседований from us


Telegram Библиотека собеса по Data Science | вопросы с собеседований
FROM USA